Lưu Quang Thế sợ giặc ở Hoài Tây, tháng 3 năm thứ 7 (1137), Trương Tuấn tâu xin bãi chức của ông ta, từ chối đem quân đội của ông ta giao cho Nhạc Phi, mà giao lại cho đốc phủ (tức là đặt dưới quyền quản hạt của Trương Tuấn); rồi mệnh cho Tham mưu Binh bộ thượng thư Lữ Chỉ đến Lư Châu chỉ huy. Nhưng Xu mật viện (Xu mật sứ chính là Tần Cối) cho rằng đốc phủ nắm binh có chỗ đáng ngờ, xin đặt chủ soái, triều đình lấy Vương Đức làm Đô thống chế, Lệ Quỳnh làm phó. Lệ Quỳnh không phục Vương Đức, 2 người tố cáo lẫn nhau với Ngự sử đài. Ông bèn mệnh cho Trương Tuấn làm Tuyên phủ sứ, Dương Nghi Trung, Lưu Kĩ làm Chế trí phán quan để phủ dụ bọn họ. Bọn Trương Tuấn chưa đến, tháng 8, Lệ Quỳnh đã làm phản, bắt Lữ Chỉ về với Lưu Dự, Lữ Chỉ không theo nên bị giết. Trương Tuấn nhận tội sắp xếp không thỏa đáng mà xin chịu bãi chức, Cao Tông hỏi Tần Cối có thay ông được không? Trương Tuấn đáp: "Làm việc cùng nhau, thấy ông ta có chỗ mờ ám!" Cao Tông bèn dùng Triệu Đỉnh, Tần Cối vì thế căm ghét Trương Tuấn. Ông được nhận hàm Quan Văn điện Đại học sĩ Đề cử Giang Châu Thái Bình Hưng Quốc cung. Trương Tuấn tiếp tục bị đả kích, phải làm Bí thư thiếu giám phân tư Tây Kinh, biếm ra Vĩnh Châu. Năm thứ 9 (1139), nhân Kim – Tông nghị hòa nên triều đình đại xá, Trương Tuấn được làm Đề cử Lâm An phủ Động Tiêu cung. Không lâu sau, được ban hàm Tư Chánh điện đại học sĩ, Tri Phúc Châu kiêm Phúc Kiến an phủ đại sứ.

Sứ giả của Kim đến, trên danh nghĩa là ban chiếu dụ, Trương Tuấn dâng sớ tranh luận. Năm thứ 11 (1141), ông được ban hàm Kiểm hiệu thiểu phó, Sùng Tín quân Tiết độ sứ, sung làm Vạn Thọ quan sứ, miễn Phụng triều thỉnh (tên chức quan, ở đây có nghĩa là không được vào triều nữa). Năm thứ 12 (1142) phong Hòa quốc công.

Tháng 7 năm thứ 16 (1146), sao chổi xuất hiện ở phương tây, Trương Tuấn dâng sớ xin giết gian thần, Tần Cối cả giận, lệnh cho Đài gián đàn hặc, ông bị giáng làm Đặc tiến Đề cử Giang Châu Thái Bình Hưng Quốc cung, biếm ra Liên Châu. Năm thứ 20 (1150), bị dời đi Vĩnh Châu. Trương Tuấn bị biếm hơn 20 năm, kẻ sĩ không ai không thương tiếc, tướng lĩnh nhắc đến ông đều không khỏi than thở, đến phụ nữ trẻ con cũng biết đến Trương đô đốc. Người Kim sợ Trương Tuấn, mỗi lần sứ giả đến, đều hỏi ông đang ở đâu, chỉ sợ ông được dùng lại.

Tháng 10 năm thứ 25 (1155), Tần Cối chết. Tháng 12, Trương Tuấn được khôi phục hàm Quan Văn điện Đại học sĩ, nhận chức Phán Hồng Châu [13]. Trước đó không lâu, Trương Tuấn đưa linh cữu của mẹ về Tây Xuyên, đến Giang Lăng lại dâng sớ đề nghị kháng Kim. Đồng đảng của Tần Cối là bọn tể tướng Vạn Sĩ Tiết, Thang Tư Hối,… bất mãn, sai đài gián là bọn Thang Bằng Cử, Lăng Triết đàn hặc, biếm ông đến Vĩnh Châu.